Một số người thuộc LGBT phản đối việc sử dụng thuật ngữ thiểu số tính dục và thích thuật ngữ LGBT hơn. Lý do cho những phản đối này có thể khác nhau. Ví dụ, một số người LGBT cảm thấy rằng thuật ngữ thiểu số tính dục làm họ nghĩ về sự phân biệt đối xử và việc trở thành thiểu số. Họ không muốn trở thành một thiểu số khác biệt mà là một phần không thể thiếu và đáng tôn trọng của xã hội. Một số người LGBT khác không thích thuật ngữ này vì nó quá bao trùm, bao gồm cả những người trao đổi bạn tình, đa ái, BDSM và những người được coi là "người lạ tình dục" khác. Những người thuộc LGBT này muốn tạo khoảng cách lớn hơn giữa những thực hành tình dục này và song tính/đồng tính/chuyển giới.

Một số người chuyển giới không thích thuật ngữ thiểu số tính dục vì một lý do khác. Họ cho rằng hiện tượng chuyển đổi giới không liên quan gì đến giới tính, hoạt động tình dục hoặc xu hướng tính dục, mà nó liên quan đến giới, bức bối giới và hành vi hoặc cảm xúc đa dạng giới. Do đó, họ cảm thấy việc bị phân loại là "thiểu số tính dục" là không chính xác, trong khi trên thực tế, họ là thiểu số đa dạng giới.

Một số nhóm bảo thủ phản đối việc sử dụng thuật ngữ thiểu số tính dục vì những lý do hoàn toàn khác. Họ cảm thấy rằng thuật ngữ này giống như đang hợp pháp hóa hoặc bảo vệ ở một mức độ nào đó đối với những người tham gia vào các hành vi tình dục như vậy, giống như các dân tộc thiểu số được bảo vệ khỏi việc phân biệt đối xử hoặc ngược đãi ở các nước dân chủ hiện đại.

Một số người không thích thuật ngữ này vì nó bao gồm từ thiểu số, trong khi thực tế là không phải tất cả các mục này thực sự là về nhóm thiểu số mà là về các nhóm chưa được phát triển hết năng lực của mình.

Những người khác cũng được gọi là "thiểu số tính dục" bao gồm những người ái vật và những người thực hành BDSM (nô lệ, thống trị và phục tùng), và bạo dâm và khổ dâm.[17] Thuật ngữ này cũng có thể bao gồm cả những người vô tính,[28][29] những người hoàn toàn dị tính và lựa chọn hành vi tình dục thông thường nhưng lựa chọn bạn đời hoặc bạn tình không điển hình, chẳng hạn như những người trao đổi bạn tình (mặc dù điều này còn đang được tranh luận),[30] những người đa ái[31] hoặc những người có những mối quan hệ phi đơn ái khác, những người thực sự thích có bạn tình tuổi vị thành niên và những người có bạn tình lớn hơn hoặc trẻ hơn mình đáng kể (chênh lệch tuổi tác trong các mối quan hệ tình dục)[32] hoặc những người có các mối quan hệ đa chủng tộc.

Thông thường, thuật ngữ thiểu số tính dục chỉ được áp dụng cho các nhóm có quan hệ tình dục đồng thuận - ví dụ, sẽ rất bất thường khi coi những kẻ hiếp dâm là một nhóm thiểu số tính dục - nhưng thuật ngữ này lại thường bao gồm cả những người mà tính dục của họ liên quan tới việc ám ảnh về sự diễn ra với sự đồng thuận của một ảo mộng hiếp dâm. Ngoài ra, những người đôi khi kết hợp sở thích tình dục phi truyền thống được đồng thuận[31] hoặc quan hệ đồng giới vào một đời sống tình dục khác giới đơn thuần thường sẽ không được mô tả là nhóm thiểu số tính dục.